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Комбинирование бинарных свойств 
в виде МКВ-классификатора 


В статье рассматривается алгоритм объединения бинарных СВОЙСТВ, широко используемых на практике 
при разработке систем автоматического анализа визуальной информации, в виде МКВ-классификатора. 
Предложенный алгоритм позволяет генерировать более эффективные решающие правила по сравнению 
с известным алгоритмом АдаВоо$ь а также существенно сократить число используемых свойств при 
одинаковой классифицирующей способности, за счет более точного описания положения объектов в 
пространстве признаков. 


Введение 


Одним из способов решения задач распознавания является построение классифи- 
каторов на основе объединения простых, но недостаточно эффективных по отдельнос- 
ти признаков, согласно некоторому алгоритму обучения, цель которого минимизиро- 
вать ошибку классификации. К таким алгоритмам относится достаточно популярный и 
часто используемый для решения задач распознавания зрительных образов алгоритм 
АдаВоо$. Алгоритм АдаВоо$( использует подход к обучению классификации, осно- 
ванный на объединении некоторого количества малоэффективных элементарных клас- 
сификаторов (ЭК) в один, более качественный, на основе их линейной комбинации. 
Если такие классификаторы бинарные (возвращают два значения, например, 1 и 0), 
то для их объединения используется классический подход, предложенный Шапиро и 
др. [1-3]. В случае использования бинарных классификаторов положение объектов в 
пространстве их представления в виде возвращаемых классификаторами значений ог- 
раничивается вершинами куба, размерности, равной числу используемых классифика- 
торов. При таком расположении объектов разделение их плоскостью является достаточ- 
но грубым, особенно если число классификаторов невелико. Для более качественного 
описания положения объектов в пространстве целесообразно использовать данные о 
расположении обучающих объектов в вершинах многомерного куба. Назовем такой 
классификатор — МКВ-классификатор. При таком подходе каждая из ограниченного 
множества вершин наделяется атрибутом принадлежности к определенному классу. 
При классификации объект попадает согласно принятым значениям набора элемен- 
тарных классификаторов в одну из вершин куба, и относится к классу в соответствии 
с атрибутом данной вершины. При решении двух классовых задач распознавания до- 
статочным является пометить вершины, принадлежащие одному из классов, а все ос- 
тальные автоматически будут относиться к объектам второго класса. Последнее в 
полной мере относится к задаче поиска объектов, где необходима классификация объект/ 
все остальное. Так как количество вершин очень быстро увеличивается с ростом 
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числа классификаторов ( 2"), при бинарной классификации удобно использовать пред- 
ставление классификатора в виде дерева решений. 


Распознаваемый объект 


Г. [иены |= ОЕ 


Рисунок 1 — Схема представления МКВ-классификатора, составленного из набора 
элементарных бинарных классификаторов, в виде дерева решений 


При больших количествах используемых элементарных классификаторов число 
вершин многомерного куба может быть достаточно большим, однако в силу того, что 
число обучающих объектов, как правило, не настолько велико, то число используемых 
вершин ограничивается сверху объемом обучающей выборки. 


Обучение МКВ-классификатора 


Качественное обучение МКВ-классификатора предполагает комбинирование не- 
которого количества ЭК таким образом, чтобы пересечение обучающих объектов раз- 
ных классов в вершинах многомерного куба было минимальным. Произвольный объект, 
подаваемый на вход МКВ-классификатора, согласно принятым значениям ЭК попа- 
дает в одну из вершин многомерного куба. Таким образом, имея определенный обуча- 
ющий набор объектов и зная их классовую принадлежность, можно оценить частоты 
попадания объектов разных классов в вершины куба. Назначение атрибута классовой 
принадлежности вершины осуществляется путем выбора класса, которому соответству- 
ет максимальная вероятность попадания в данную вершину. Если обозначить функцию 
МКВ-классификатора, возвращающую атрибут класса для произвольного входного 
объекта Х как В(х) ‚ аего истинную принадлежность (правильный атрибут) как у, то для 


ошибки классификации будем иметь: 


Вх, ) у 
0, иначе. 


1 М 
Е =— › 5, „где 5, = 
м2. 


Здесь М — число обучающих объектов. В ходе обучения ЭК выбираются таким обра- 
зом, чтобы минимизировать ошибку классификации Е. 
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Процесс комбинирования элементарных классификаторов может иметь значи- 
тельную вычислительную сложность в силу необходимости решения задачи полного 
перебора, особенно при большом числе ЭК. Вместе с тем процесс обучения можно зна- 
чительно упростить, применив по аналогии с АдаВоо${ последовательный отбор ЭК в 
ходе формирования МКВ-классификатора. Общая схема процесса обучения приведе- 
на на рис. 2. 


1) Выбирается наилучший ЭК с точки зрения минимиза- 
ции ошибки классификации. 
2) Для каждого цикла обучения 1 = 2,...,Т: 


2.1) организовывается цикл добавления ЭК к уже вклю- 
ченным в МКВ-классификатор; 
2.2) считается ошибка классификации после добавле- 
ния текущего ЭК в МКВ-классификатор; 
2.3) выбирается ЭК, который при добавлении в МКВ- 
классификатор дает максимальное уменьшение ошиб- 
ки, и включается в МКВ-классификатор. 
3) После достижения требуемой ошибки классификации 
процесс обучения заканчивается. 


Рисунок 2 — Алгоритм обучения МКВ-классификатора 


Самым вычислительно сложным этапом приведенного алгоритма является оцен- 
ка ошибки МКВ-классификатора с добавлением нового ЭК. Для ускорения выполне- 
ния вычислений на этом этапе удобно заполнять таблицу принятых элементарными 
классификаторами значений: 


Таблица 1 — Принятые элементарными классификаторами значения 
№ЭК Объект 1 | Объект2 | Объект3 | Объект 4 Объект М 
1 0 1 0 0 0 
я 1 1 0 1 0 
3 0 0 0 0 0 
Т-1 1 1 0 1 
Т - новый 0 0 1 0 Е 1 
Номер впервые 
встретившегося Й 2 3 Й 3 
такого же 
вектора 


Последняя строка таблицы содержит номер объекта, который имеет меньший 
или равный текущему порядковый номер в списке обучающих объектов и для кото- 
рого значения всех ЭК совпадают с соответствующими значениями ЭК для текущего 
объекта. Она позволяет определить количество вершин куба, в которые попадают все 
объекты обучающего набора, и оценить частоты попадания в каждую вершину объек- 
тов каждого класса. Это позволяет назначить вершинам атрибуты классов из условия 
минимизации ошибок классификации. 

Последняя строка позволяет быстро находить впервые встретившийся вектор в 
таблице, равный текущему вектору. Действительно, зная значения последней строки 
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без добавления очередного ЭК и значение этого ЭК для данного объекта достаточно 
ввести дополнительные две строки в таблицу выше: 


Объект 1 | Объект2 | Объект 3 Е 
Номер впервые 
встретившегося такого 
же вектора без 1 2 3 ва _ 
добавления последнего 
ЭК 


Номер впервые 
встретившегося такого 
же вектора при условии, 1 2 10 т 28 
что добавленный ЭК 
возвращает 0 
Номер впервые 
встретившегося такого 
же вектора при условии, 2. 45 _ ее. _ 
что добавленный ЭК 
возвращает 1 


Вычисляя значение добавленного ЭК для текущего объекта и зная первый, со- 
впадающий с ним объект в списке обучающих объектов без добавления последнего 
ЭК, можно получить номер впервые встретившегося такого же объекта, или назначить 
текущий объект первым найденным в последовательности, что и занести в одну из 
добавленных строк таблицы. Описанный подход позволяет вычислять ошибку класси- 
фикации после добавления очередного классификатора с меньшими вычислительны- 
ми затратами, близкими к выполнению аналогичной операции в алгоритме АдаВоо34. 


Тестирование МКВ-классификатора 


Для тестирования предложенного МКВ-классификатора использовалась задача 
обнаружения области губ на изображении лица. В качестве ЭК использовались пря- 
моугольные логические свойства, предложенные в [4]. В качестве области поиска рас- 
сматривалась область предварительно найденного лица, содержащая губы. Использо- 
валась база изображений губ, произносящих различные звуки, положение которых 
было размечено вручную. В качестве обучающего набора изображений губ использо- 
вались вырезанные изображения областей губ из базы изображений лиц и изображения, 
полученные их горизонтальным зеркальным отражением, — всего 5616 изображений. 
Все обучающие изображения приведены к рабочему масштабу 16х16 пикселей. В ка- 
честве изображений класса «Фон» из базы изображений лиц и их горизонтальных зер- 
кальных отражений случайным образом извлечены 5348 изображений. Всего вариантов 
изображений фона, содержащихся в изображениях базы изображений лиц, было около 
461 000 000. Примеры изображений обучающего набора приведены на рис.3. 


„-РвЕЕР 
3 ь _ 
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Рисунок 3 — Примеры изображений обучающего набора: 
а) обучающие объекты класса «Губы», 
6) обучающие объекты класса «Фон» 


В процессе обучения на одном обучающем наборе изображений получены зави- 
симости средней ошибки классификации 1 и 2 рода от числа используемых элементар- 
ных классификаторов для МКВ-классификатора и классификатора в виде линейной 
комбинации ЭК, полученного методом АдаВооз (рис. 4). 


0,25 


0,2 - 


0,15 - 


0,1 


Средняя ошибка классификации 


0 50 100 150 200 


Количество используемых ЭК 


— МКВ-классификатор ===АдаВоо$+ 


Рисунок 4 — Сравнительная характеристика качества классификаторов МКВ 
и АдаВооз по результатам обучения 


Анализ полученных зависимостей показывает, что использование МКВ-класси- 
фикатора по сравнению с классификатором, получаемым в результате работы алго- 
ритма АдаВоо$ позволяет существенно сократить число используемых ЭК при дости- 
жении одинаковой средней ошибки классификации, что дает возможность значительно 
ускорить процесс выполнения операции классификации. Для МКВ-классификатора 
характерна большая скорость уменьшения ошибки обучения с увеличением числа ЭК. 
Согласно приведенным зависимостям при использовании 25 элементарных классифи- 
каторов ошибка МКВ-классификатора приблизительно в 10 раз меньше, чем ошибка 
обучения алгоритма АдаВоо3{. Для достижения такого значения ошибки алгоритмом 
АдаВоо$( необходимо использовать комбинацию более 200 классификаторов. 
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Выводы 


Рассмотренный в статье подход к объединению простых свойств в МКВ-клас- 
сификатор позволяет проводить эффективное обучение распознаванию образов. По ско- 
рости обучения предложенный подход не уступает алгоритму обучения АдаВоозь, а 
по эффективности получаемых решений позволяет значительно уменьшить число ис- 
пользуемых свойств при сохранении требуемого качества классификации. Последняя 
особенность МКВ-классификатора, а также возможность его представления в виде 
дерева решений определяет высокую скорость работы классификатора, по сравнению 
с линейной комбинацией значений свойств, получаемой при использовании алгорит- 
ма обучения АдаВоо$(. Основным направлением дальнейших исследований является 
исследование возможностей использования описанного подхода для решения задачи 
обнаружения более широкого круга целевых объектов, в частности номерных знаков 
автомобилей, лиц людей и т.п., что позволит определить степень его инвариантности 
к свойствам объектов поиска. 
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К.В. Муриан 

Комбнування бнарних ознак у вигляд: МКВ-класифжатора 

У стати розглядаеться алгоритм об’еднання блнарних властивостей, широко використовуваних на практиц! 
при розробщ! систем автоматичного анатзу в!зуально! 1нформацй, у вид! МКВ-класифткатора. Запропонований 
алгоритм дозволяе генерувати б1льш ефективн! вирштуючи правила в порвнянн! з в1домим алгоритмом 
АдаВооз%, а також 1стотно скоротити число використовуваних ознак при однаковйй якост! класифткацй, 
за рахунок б1льш точного опису положення об’ект1в у простор! ознак. 


К.Г. Мигуят 

СошЬтайоп о? Вшагу Ргорегие$ ш е Еогт оЁ Фе МКУ-СазШег 

ш Фе агасе Фе а[еогИйт оЁ аззосланоп оЁ Фе Ылпагу ргорегиез улаеу изе4 ш ргасёсе ай зу\ет епешеение 
оЁ Фе ащюотайс апа[у$15 оЁ Фе у1зиа] шЮппайоп, ш Фе Юпп оЁ Фе МКУ-с1азз1ег 15 сопяегед. ТЬе ойегеа 
а]еогИйт аПо\из 0 оепегаёе тоге еНесйуе зо!уте гез ш сотрагзоп у Кпо\т а|еогИт АдаВоо$, 
ап4 а150 И 1$ еззепна[ №0 гедисе папбег оЁ ие ргорегиез ай 14еписа1 с1аззНуше абПИу, аё Фе ехрепзе оЁ 
тоге ехас{ дезсирноп оРрозоп оЁ об] ес{5 ш Ееайше расе. 
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